Rethinking Heterogeneous System Disaggregation for Subquadratic Attention
重新思考面向子二次注意力的异构系统解聚
🧭 LLM 推理 · 子二次注意力异构解聚
Harvard University · NVIDIA
提出按二次/子二次注意力拆分 decode 的细粒度异构解聚方案，显著提升子二次注意力 LLM 的吞吐与能效
📌 工作参考价值（4 点）
- 若业务中采用线性/稀疏/滑动窗口等子二次注意力 LLM 做在线推理（如 query 理解、生成式推荐、Agent 工具调用），可将 KV 检索类算子（如 top-k 选择）部署在 DRAM 带宽大的 LPX 类设备，将静态内存的注意力+FFN 部署在 SRAM 算力设备，降低跨设备通信并提升 tokens/J。
- 稀疏注意力 decode 可拆成两阶段：top-k 选择需要扫描全量 KV，但计算轻；top-k 注意力+FFN 内存占用固定。这一特性可指导推理系统的流水线设计，避免将 KV 索引放在算力型 GPU 上造成内存瓶颈。
- 系统解聚不应按 attention/FFN 操作类型，而应按算数强度与内存占用拆分；对于混合注意力架构（部分层 dense，部分层子二次），可把 dense 层放在 GPU、子二次层放在低功耗设备，实现能耗与延迟的更好折中。
- 论文主要是底层系统优化，与推荐/广告算法逻辑无直接关系，可借鉴点主要在工程部署和硬件选型。